Abstract Objective: Develop and pilot indicators of quality of care to neonates with relevant conditions in Mexico (prematurity, neonatal sepsis, perinatal asphyxia, and intrauterine hypoxia). Materials and methods: Own indicators were built based on key recommendations of national clinical practice guidelines and indicators found in international repositories. With previous search, selection and prioritization, the indicators were piloted within two hospitals. The feasibility of measuring, (kappa index) reliability and usefulness was analyzed to detect quality problems. Results: 23 indicators were selected and piloted, 12 are compounds, of the total, nine were feasible and reliable. The quality of the hospital‘s information was diverse and often poor, limiting both the feasibility and the reliability of the indicators. Improvement opportunities were identified thorough the compliance levels. Conclusions: A set of nine indicators valid, reliable, feasible and useful indicators is proposed in order to monitor the quality of care of pathological neonates.

Resumen: Objetivo: Desarrollar y pilotar indicadores de calidad de la atención a neonatos con padecimientos relevantes en México (prematuridad, sepsis neonatal, asfixia perinatal e hipoxia intrauterina). Material y métodos: Se construyeron indicadores propios a partir de recomendaciones clave de las guías de práctica clínica nacionales e indicadores encontrados en repositorios internacionales. Previa búsqueda, selección y priorización, los indicadores fueron pilotados en dos hospitales. Se analizó la factibilidad de medición, fiabilidad (índice kappa) y utilidad para detectar problemas de calidad. Resultados: Se seleccionaron y pilotaron 23 indicadores; 12 eran compuestos. Del total, nueve fueron factibles y fiables. La calidad de la información en los hospitales fue diversa y frecuentemente deficiente, limitando tanto la factibilidad como la fiabilidad de los indicadores. Los niveles de cumplimiento identificaron oportunidades de mejora. Conclusiones: Se propone un set de nueve indicadores válidos, factibles, fiables y útiles para la monitorización de la calidad en la atención a neonatos patológicos.

Abstract Objective: Develop and pilot indicators of quality of care to neonates with relevant conditions in Mexico (prematurity, neonatal sepsis, perinatal asphyxia, and intrauterine hypoxia). Materials and methods: Own indicators were built based on key recommendations of national clinical practice guidelines and indicators found in international repositories. With previous search, selection and prioritization, the indicators were piloted within two hospitals. The feasibility of measuring, (kappa index) reliability and usefulness was analyzed to detect quality problems. Results: 23 indicators were selected and piloted, 12 are compounds, of the total, nine were feasible and reliable. The quality of the hospital‘s information was diverse and often poor, limiting both the feasibility and the reliability of the indicators. Improvement opportunities were identified thorough the compliance levels. Conclusions: A set of nine indicators valid, reliable, feasible and useful indicators is proposed in order to monitor the quality of care of pathological neonates.

Resumen: Objetivo: Desarrollar y pilotar indicadores de calidad de la atención a neonatos con padecimientos relevantes en México (prematuridad, sepsis neonatal, asfixia perinatal e hipoxia intrauterina). Material y métodos: Se construyeron indicadores propios a partir de recomendaciones clave de las guías de práctica clínica nacionales e indicadores encontrados en repositorios internacionales. Previa búsqueda, selección y priorización, los indicadores fueron pilotados en dos hospitales. Se analizó la factibilidad de medición, fiabilidad (índice kappa) y utilidad para detectar problemas de calidad. Resultados: Se seleccionaron y pilotaron 23 indicadores; 12 eran compuestos. Del total, nueve fueron factibles y fiables. La calidad de la información en los hospitales fue diversa y frecuentemente deficiente, limitando tanto la factibilidad como la fiabilidad de los indicadores. Los niveles de cumplimiento identificaron oportunidades de mejora. Conclusiones: Se propone un set de nueve indicadores válidos, factibles, fiables y útiles para la monitorización de la calidad en la atención a neonatos patológicos.

AbstractBackground:The Child Development Evaluation (CDE) test designed and validated in Mexico has been used as a screening tool for developmental problems in primary care facilities across Mexico. Heterogeneous results were found among those states where these were applied, despite using the same standardized training model for application. The objective was to evaluate a supervision model for quality of application of the CDE test at primary care facilities.Methods:A study was carried out in primary care facilities from three Mexican states to evaluate concordance of the results between supervisor and primary care personnel who administered the test using two different methods: direct observation (shadow study) or reapplication of the CDE test (consistency study).Results: There were 380 shadow studies applied to 51 psychologists. General concordance of the shadow study was 86.1% according to the supervisor: green 94.5%, yellow 73.2% and red 80.0%. There were 302 re-test evaluations with a concordance of 88.1% (n = 266): green 96.8%, yellow 71.7% and red 81.8%. There were no differences between CDE test subgroups by age.Conclusions: Both shadow and re-test study were adequate for the evaluation of the quality of the administration of the CDE Test and may be useful as a model of supervision in primary care facilities. The decision of which test to use relies on the availability of supervisors.

ResumenIntroducción:La prueba Evaluación del Desarrollo Infantil (EDI), diseñada y validada en México, se ha aplicado en las unidades de atención primaria del país. Los resultados han sido heterogéneos entre los estados en que se aplicaron las pruebas, a pesar de haber utilizado un modelo de capacitación estandarizado con la misma metodología para la aplicación. El objetivo de este trabajo fue evaluar un modelo de supervisión que permita identificar la calidad de la aplicación de la prueba EDI a nivel poblacional.Métodos: Se realizó un estudio en la atención primaria tres estados del país para evaluar la aplicación de la prueba EDI por observación directa (estudio de sombra), y verificar la concordancia del resultado a través aplicar la prueba una vez más (estudio de consistencia).Resultados: Se realizaron 380 estudios de sombra a 51 psicólogos. Al comparar el resultado global, se observó una concordancia del 86.1% con el supervisor (n = 327): el 94.5% por resultado verde, el 73.2% por amarillo y el 80.0% por rojo. Se aplicó la prueba nuevamente en 302 casos, con una concordancia del 88.1% (n = 266): el 96.8% por resultado verde, el 71.7% por amarillo y el 81.8% por rojo. No se encontraron diferencias significativas por grupo.Conclusiones: Tanto el estudio de sombra como el de consistencia fueron adecuados para evaluar la calidad de la aplicación de la prueba, y pueden ser de utilidad para supervisar la aplicación de la prueba EDI en atención primaria. La decisión de uno u otro sistema depende de la disponibilidad de supervisores.

AbstractBackground:Evaluación del Desarrollo Infantil or Child Development Evaluation (CDE) test, a screening tool designed and validated in Mexico, classifies child development as normal (green) or abnormal (developmental lag or yellow and risk of delay or red). Population-based results of child development level with this tool are not known. The objective of this work was to evaluate the developmental level of children aged 1-59 months living in poverty (PROSPERA program beneficiaries) through application of the CDE test.Methods: CDE tests were applied by specifically trained and standardized personnel to children <5 years old who attended primary care facilities for a scheduled appointment for nutrition, growth and development evaluation from November 2013 to May 2014.Results: There were 5,527 children aged 1-59 months who were evaluated; 83.8% (n = 4,632) were classified with normal development (green) and 16.2% (n = 895) as abnormal: 11.9% (n = 655) as yellow and 4.3% (n = 240) as red. The proportion of abnormal results was 9.9% in children <1 year of age compared with 20.8% at 4 years old. The most affected areas according to age were language at 2 years (9.35%) and knowledge at 4 years old (11.1%). Gross motor and social areas were more affected in children from rural areas; fine motor skills, language and knowledge were more affected in males.Conclusions: The proportion of children with abnormal results is similar to other population-based studies. The highest rate in older children reinforces the need for an early-based intervention. The different pattern of areas affected between urban and rural areas suggests the need for a differentiated intervention.

ResumenIntroducción:La prueba de Evaluación del Desarrollo Infantil (EDI), diseñada y validada en México, clasifica a los niños de acuerdo con su desarrollo en desarrollo normal (verde) y desarrollo anormal (amarillo o rojo). No se conocen los resultados de su aplicación en base poblacional. El objetivo de este trabajo fue evaluar el nivel de desarrollo de niños menores de 5 años en situación de pobreza (beneficiarios del Programa PROSPERA) utilizando la prueba EDI.Método:La prueba EDI fue aplicada por personal capacitado y con los estándares para la aplicación de la prueba en menores de 5 años que acudieron al control del niño sano en unidades de atención primaria de noviembre de 2013 a mayo de 2014 en un estado del norte de México.Resultados: Se aplicó la prueba EDI a 5,527 niños de 1-59 meses de edad. El 83.8% (n = 4,632) se encontró con desarrollo normal y el 16.2%, con desarrollo anormal: amarillo con el 11.9% (n = 655) y rojo con el 4.3% (n = 240). La proporción con resultado anormal fue del 9.9% en < 1 año y del 20.8% a los 4 años. Por edad, las áreas más afectadas fueron el lenguaje a los 2 años (9.35%) y el conocimiento a los 4 años (11.1%). Las áreas motor grueso y social tuvieron mayor afección en el área rural. En el sexo masculino, las áreas de motor fino, lenguaje y conocimiento.Conclusiones: La proporción de niños con resultado anormal es similar a lo reportado en otros estudios de base poblacional. La mayor proporción de afección a mayores edades refuerza la importancia de la intervención temprana. La diferencia en las áreas afectadas entre el medio urbano y rural sugiere la necesidad de una intervención diferenciada.

AbstractBackground: The Child Development Evaluation (CDE) Test is a screening tool designed and validated in Mexico for the early detection of child developmental problems. For professionals who will be administering the test in primary care facilities, previous acquisition of knowledge about the test is required in order to generate reliable results. The aim of this work was to evaluate the impact of a training model for primary care workers from different professions through the comparison of knowledge acquired during the training course.Methods: The study design was a before/after type considering the participation in a training course for the CDE test as the intervention. The course took place in six different Mexican states from October to December 2013. The same questions were used before and after.Results: There were 394 participants included. Distribution according to professional profile was as follows: general physicians 73.4%, nursing 7.7%, psychology 7.1%, nutrition 6.1% and other professions 5.6%. The questions with the lowest correct answer rates were associated with the scoring of the CDE test. In the initial evaluation, 64.9% obtained a grade lower than 20 compared with 1.8% in the final evaluation. In the initial evaluation only 1.8% passed compared with 75.15% in the final evaluation.Conclusions:The proposed model allows the participants to acquire general knowledge about the CDE Test. To improve the general results in future training courses, it is required to reinforce during training the scoring and interpretation of the test together with the previous lecture of the material by the participants.

ResumenIntroducción: La prueba Evaluación del Desarrollo Infantil (EDI) es una herramienta de tamiz para la detección oportuna de problemas del desarrollo, diseñada y validada en México. Para que sus resultados sean confiables, se requiere que el personal que la aplique haya adquirido los conocimientos necesarios previamente, a través de un curso de capacitación en la unidad de salud que labore. El objetivo de este trabajo fue evaluar el impacto de un modelo de capacitación impartido al personal que trabaja en atención primaria en seis entidades federativas en México. Lo anterior mediante la comparación de los conocimientos adquiridos en la capacitación.Método: Se realizó un estudio de evaluación de antes y después, considerando como intervención el haber acudido a un curso de capacitación sobre la prueba EDI de octubre a diciembre de 2013.Resultados: Se incluyeron 394 participantes. Las profesiones fueron las siguientes: medicina general (73.4%), enfermería (7.7%), psicología (7.1%), nutrición (6.1%), otras profesiones (5.6%). En la evaluación inicial, el 64.9% obtuvo una calificación menor a 20. En la evaluación final, disminuyó al 1.8%. En la evaluación inicial aprobó el 1.8% comparado con el 75.1% en la evaluación final. Las preguntas con menor porcentaje de respuestas correctas fueron las relacionadas con la calificación de la prueba.Conclusiones: El modelo de capacitación resultó adecuado para adquisición de conocimientos generales sobre la prueba. Para mejorar el resultado global se requiere reforzar los temas de calificación e interpretación de los resultados en futuras capacitaciones, y que los participantes realicen una lectura previa del material de apoyo.

AbstractBackground: The Child Development Evaluation (or CDE Test) was developed in Mexico as a screening tool for child developmental problems. It yields three possible results: normal, slow development or risk of delay. The modified version was elaborated using the information obtained during the validation study but its properties according to the base population are not known. The objective of this work was to establish diagnostic confirmation of developmental delay in children 16- to 59-months of age previously identified as having risk of delay through the CDE Test in primary care facilities.Methods:A population-based cross-sectional study was conducted in one Mexican state. CDE test was administered to 11,455 children 16- to 59-months of age from December/2013 to March/2014. The eligible population represented the 6.2% of the children (n = 714) who were identified at risk of delay through the CDE Test. For inclusion in the study, a block randomization stratified by sex and age group was performed. Each participant included in the study had a diagnostic evaluation using the Battelle Development Inventory, 2nd edition.Results: From the 355 participants included with risk of delay, 65.9% were male and 80.2% were from rural areas; 6.5% were false positives (Total Development Quotient ¿90) and 6.8% did not have any domain with delay (Domain Developmental Quotient <80). The proportion of delay for each domain was as follows: communication 82.5%; cognitive 80.8%; social-personal 33.8%; motor 55.5%; and adaptive 41.7%. There were significant differences in the percentages of delay both by age and by domain/subdomain evaluated.Conclusions: In 93.2% of the participants, developmental delay was corroborated in at least one domain evaluated.

ResumenIntroducción: La prueba Evaluación del Desarrollo Infantil (EDI), diseñada en México, clasifica a los niños de acuerdo con su desarrollo en desarrollo normal, rezago en el desarrollo y riesgo de retraso. La versión modificada se desarrolló y validó, pero no se conocen sus propiedades en base poblacional. El objetivo de este trabajo fue establecer la confirmación diagnóstica en niños de 16 a 59 meses identificados con riesgo de retraso por la prueba EDI.Métodos: Se realizó un estudio transversal de base poblacional en una entidad federativa de México. Se aplicó la prueba EDI a 11,455 niños de 16 a 59 meses, de diciembre de 2013 a marzo de 2014. Se consideró como población elegible al 6.2% (n = 714) que obtuvo como resultado riesgo de retraso. Para la inclusión en el estudio se realizó una aleatorización estratificada por bloques para sexo y grupo de edad. A cada participante se le realizó la evaluación diagnóstica utilizando el Inventario de Desarrollo de Battelle 2ª. edición.Resultados: De los 355 participantes incluidos, el 65.9% fue de sexo masculino y el 80.2% de medio rural. El 6.5% fueron falsos positivos (cociente total de desarrollo ¿ 90) y el 6.8% no tuvo ningún dominio con retraso (cociente de desarrollo de dominio < 80). Se calculó la proporción de retraso en las siguientes áreas: comunicación (82.5%), cognitivo (80.8%), personal-social (33.8%), motor (55.5%) y adaptativo (41.7%). Se observaron diferencias en los porcentajes de retraso por edad y dominio/subdominio evaluado.Conclusiones: Se corroboró la presencia de retraso en al menos un dominio evaluado por la prueba diagnóstica en el 93.2% de la población estudiada.